由于在许多领域的无与伦比的成功，例如计算机视觉，自然语言处理，推荐系统以及最近在模拟多物理问题和预测非线性动力学系统方面，深度学习引起了人们的关注。但是，建模和预测混乱系统的动态仍然是一个开放的研究问题，因为训练深度学习模型需要大数据，在许多情况下，这并不总是可用的。可以通过从模拟结果获得的其他信息以及执行混乱系统的物理定律来培训这样的深度学习者。本文考虑了极端事件及其动态，并提出了基于深层神经网络的优雅模型，称为基于知识的深度学习（KDL）。我们提出的KDL可以通过直接从动力学及其微分方程中对真实和模拟数据进行联合培训来学习控制混乱系统的复杂模式。这些知识被转移到模型和预测现实世界中的混乱事件，表现出极端行为。我们通过在三个实际基准数据集上进行评估来验证模型的效率：El Nino海面温度，San Juan登革热病毒感染和BJ {\ o} rn {\ o} ya每日降水，所有这些都受极端事件的控制'动态。利用对极端事件和基于物理的损失功能的先验知识来领导神经网络学习，我们即使在小型数据制度中也可以确保身体一致，可推广和准确的预测。

使用变压器的深度学习最近在许多重要领域取得了很大的成功，例如自然语言处理，计算机视觉，异常检测和推荐系统等。在变压器的几种优点中，对于时间序列预测，捕获远程时间依赖性和相互作用的能力是可取的，从而导致其在各种时间序列应用中的进步。在本文中，我们为非平稳时间序列构建了变压器模型。这个问题具有挑战性，但至关重要。我们为基于小波的变压器编码器体系结构提供了一个新颖的单变量时间序列表示学习框架，并将其称为W-Transformer。所提出的W-Transformer使用最大重叠离散小波转换（MODWT）到时间序列数据，并在分解数据集上构建本地变压器，以生动地捕获时间序列中的非机构性和远程非线性依赖性。在来自各个领域的几个公共基准时间序列数据集和具有不同特征的几个公开基准时间序列数据集上评估我们的框架，我们证明它的平均表现明显优于短期和长期预测的基线预报器，即使是由包含的数据集组成的数据集只有几百个培训样本。

预测时间序列数据代表了数据科学和知识发现研究的新兴领域，其广泛应用程序从股票价格和能源需求预测到早期预测流行病。在过去的五十年中，已经提出了许多统计和机器学习方法，对高质量和可靠预测的需求。但是，在现实生活中的预测问题中，存在基于上述范式之一的模型是可取的。因此，需要混合解决方案来弥合经典预测方法与现代神经网络模型之间的差距。在这种情况下，我们介绍了一个概率自回归神经网络（PARNN）模型，该模型可以处理各种复杂的时间序列数据（例如，非线性，非季节性，远程依赖性和非平稳性）。拟议的PARNN模型是通过建立综合运动平均值和自回归神经网络的融合来构建的，以保持个人的解释性，可伸缩性和``白色盒子样''的预测行为。通过考虑相关的马尔可夫链的渐近行为，获得了渐近平稳性和几何形状的足够条件。与先进的深度学习工具不同，基于预测间隔的PARNN模型的不确定性量化。在计算实验期间，Parnn在各种各样的现实世界数据集中，超过了标准统计，机器学习和深度学习模型（例如，变形金刚，Nbeats，Deepar等），来自宏观经济学，旅游，能源，流行病学和其他人的真实数据集集合 - 期，中期和长期预测。与最先进的预报相比，与最佳方法相比，与最佳方法进行了多重比较，以展示该提案的优越性。